平仮名と片仮名は平安時代に漢字をベースに作られた日本発祥の文字で平仮名は女性が話し言葉に、片仮名は男性が漢字に振り仮名を付けるために使われました。例として平仮名の「あ」は「安」という漢字が変化して誕生し、片仮名の「ア」は「阿」という感じの「阜偏」の部分だけが取り外されてその部分が変化して誕生したものです。
他にも平仮名の「り」と片仮名の「リ」はいずれも「利」という漢字が変化したもので前者は字全体が、後者は「りっとう」の部分が変化したので平仮名と片仮名では一見するとよく似ているようですが、成り立ちの違いから左の「はね」の有無や字の幅の違いなどがあります。
そして本題の「へ」は漢字の「部」が変化したもので成り立ちは「利」と同様ですが、「部」という漢字は役職の名称に多く使用され、使用頻度が高いので普段から「おおざと」の部分が取り外されて書かれていました。つまり「へ」はベースとなった漢字が同じで崩されて行くうちにたまたま「へ」だけ同じ形になったのです。